Tại Nhật Bản, năm 1872, nghị sĩ Saigō Takamori được phong quân hàm nguyên soái lục quân. Cũng trong năm này, có quy định về quân phục cho các cấp nguyên soái và đại nguyên soái. Tháng 5 năm 1873, cải cách chế độ sĩ quan đã bãi bỏ quân hàm nguyên soái. Saigō trở thành nhân vật duy nhất của quân đội Đế quốc Nhật Bản từng mang quân hàm nguyên soái. Dù vậy, sau cải cách nói trên, quân hàm của Saigō trở lại thành đại tướng lục quân.

Năm 1898, có Điều lệ Phủ Nguyên soái. Điều lệ này quy định những đại tướng lục hải quân lập nhiều quân công sẽ được phong danh hiệu nguyên soái và được mang danh hiệu này đến cuối đời. Họ được gọi là nguyên soái đại tướng lục quân/hải quân. Phù hiệu và trang phục cho nguyên soái cũng được quy định trong năm đó. Thêm vào đó, đến năm 1918, còn có quy định về kiếm nguyên soái (元帥佩刀).

Ngày 26 tháng 4 năm 1926, danh hiệu nguyên soái được phong cho cả cựu hoàng Triều Tiên Thuần Tông.

Suốt thời kỳ Minh Trị (23 tháng 10 năm 1868 đến 30 tháng 7 năm 1912) có 5 đại tướng lục quân và 3 đại tướng hải quân được phong danh hiệu nguyên soái, không kể Saigō Takamori. Thời kỳ Taishō (1912-1926) có 6 đại tướng lục quân và 6 đại tướng hải quân được phong nguyên soái. Thời kỳ Shōwa trước và trong Chiến tranh thế giới thứ hai (1926-1945), có 6 đại tướng hải quân và 4 đại tướng hải quân được phong nguyên soái. Riêng trong thời kỳ Chiến tranh thế giới thứ hai, có 3 đại tướng lục quân và 3 đại tướng hải quân được phong nguyên soái, trong đó có 2 đại tướng hải quân được truy phong.

Năm 1945, Điều lệ Phủ Nguyên soái bị bãi bỏ, chế độ nguyên soái của Nhật Bản cũng bị bãi bỏ theo. Vào thời điểm chế độ này bị bãi bỏ, vẫn có 5 nguyên soái còn sống.

Danh hiệu Lục Hải quân Đại Nguyên soái (Riku-Kaigun Dai-Gensui) được dành riêng cho các Thiên Hoàng Meiji, Taishō và Hirohito.